折腾了几天的WechatScraper终于部署到Linux服务器上能生产使用了
用篇文章来记录下部署过程中遇到的各种bug和坑。

1. 运行问题

webdriver在有GUI界面的系统上运行是只需要下载chromedriver或者geckodriver等就能直接带动浏览器运行,只需要创建一个浏览器实例就行了

from selenium import webdriver
broswer = webdriver.Chrome(executable_path=/path/to/chromedriver, chrome_options)

在有些不带GUI界面的Linux机器上,如果想要使用webdriver,首推的方案是Python+Selenium+PhantomJS,PhantomJS是一个无头浏览器,即使没有GUI界面也能正常运行,常用于测试等环境。
因为没有GUI,如果我们想使用Chrome/Firefox等浏览去,我们就需要Xvfb和python的pyvirtualdisplay库,给浏览器创造一个运行环境,这样浏览器就能顺利运行了。

注:实际检测,PhantomJS在获取搜索结果的时候跟Firefox/Chrome差别很大,具体原因不太清楚,希望有人能解惑。

2. Executable path

这个常见的报错是

the path to the driver executable must be set blabla...

当webdriver调起浏览器时,需要在系统路径中找到geckodriver或者chromedriver这些能操控浏览器的驱动,所以我们需要将这些文件复制到/usr/bin或者/usr/local/bin或者/usr/sbin这几个文件夹下,这样才能让webdriver顺利调起浏览器供我们使用。

3. chrome not reachable

这个报错比较奇怪,而且当直接去以

cd /path/to/chromedriver && ./chromedriver

这个命令执行的时候,会报错glibc-版本号未安装,这个猜测是因为版本不匹配导致的,因为我后来换了低版本的chromedriver是可以直接运行的,所以如果你的系统上glibc版本不高的话,建议使用低版本的chrome和chromedriver。

结语

暂时想到的就这几个,如果有什么问题,可以直接在评论区回复,如果有其它解决方案或者错误之处,欢迎指出。


WickedDogg
271 声望3 粉丝